近日，开源推理引擎WASTE正式亮相，其核心亮点在于能够运行权重规模远超宿主设备物理内存的模型。该引擎作为让强大模型在更多硬件上可用的初步举措，旨在为个人和机构在基础设施成本、数据隐私、可用性及部署方式上提供更大掌控力。WASTE首个全面支持的模型是参数量高达2.78万亿的Kimi K3，在搭载64GB统一内存的MacBook Pro上即可顺畅运行，实际内存占用仅约29GB。这意味着以往需要昂贵服务器集群才能驱动的大参数模型，如今在消费级笔记本电脑上就能离线推理，极大降低了使用门槛，并从根本上避免了数据传输带来的隐私风险。WASTE的出现或将推动大模型从云端向边缘设备下沉，重塑行业对算力部署的认知。